Yuchi Jingde lahir tahun 585 di Shuozhou (sekarang Provinsi Shanxi) pada masa pemerintahan Kaisar Wen dari Sui. Dari nama marganya, Yuchi, tampak bahwa ia beretnis Xianbei (salah satu suku minoritas di Tiongkok utara). Pada masa pemerintahan Kaisar Yang dari Sui (putra Kaisar Wen) yang lalim, pemberontakan petani meletus di seantero negeri melawan kesewenang-wenangan sang kaisar. Yuchi bergabung dengan milisi sukarelawan yang dibentuk pemerintah untuk melawan kaum pemberontak. Ia menerima penghargaan atas keberaniannya di medan perang.